拿到一个'不可衡量'的问题,从重新定义开始

把 Hubbard 的应用信息经济学(AIE)压缩成一条可执行的衡量流程:从定义入手,经信息价值计算和校准估计,到小样本观察和贝叶斯更新,最终输出可用于决策的概率范围。

本页目录

什么时候打开这份指南

你遇到了一个看起来"没法量化"的决策变量。可能是客户信任度、组织灵活性、某项政策的长期影响,或者任何被团队默认放弃量化的东西。

有两个信号说明你需要这份指南:第一,这个变量确实影响一个重要决策;第二,因为"没法量化",它已经被排除在正式分析之外,决策实际上在忽略它。

如果变量不影响决策,不需要衡量。如果已经有现成的数据或明确的衡量方法,也不需要这套流程。这份指南专门对付那些"重要但被放弃"的变量。

最短路径:三步出第一版估计

如果时间紧,只做三步就够出一个比"没法量化"有用得多的结果。

第一步:把"不可衡量"翻译成具体问题。 问自己:"如果这个变量变好了,我在哪里能看到变化?"客户信任度变高了,你可能看到续约率上升、投诉量下降、转介绍增加。把抽象概念拆成可观察的信号,每个信号就是一个可衡量的子变量。

完成信号:你能列出 2-3 个可观察的子变量,每个子变量都可以回答"它是变高了还是变低了"。

第二步:校准你的估计。 对每个子变量,给出一个 90% 置信区间。先做一轮校准练习——回答 10 个有客观答案的常识问题,检查自己的区间是太窄(过度自信)还是太宽(逃避判断)。根据结果调整你的区间宽度习惯,然后再给正式估计。

完成信号:你的校准练习命中率在 80%-95% 之间。如果低于 70%,再练一轮。

第三步:做 5 个观察。 针对信息价值最高的子变量,随机收集 5 个数据点。不需要大规模调研——5 个随机观察就有 93.75% 的概率把中位数框进最大值和最小值之间。

完成信号:你有了一个粗略范围,这个范围比"完全不知道"窄了至少一半。拿这个范围回到决策场景,看它是否足以区分不同的决策选项。

这三步通常在 2-4 小时内完成。产出是一组带置信区间的估计值,足以支撑一次初步决策讨论。

完整流程:从定义到决策的六步

最短路径足以打破僵局。如果需要更严谨的分析——比如涉及大额投资或高风险决策——走完整流程。

定义你的衡量对象。 不是"我要衡量客户满意度",而是"客户满意度的哪些变化会改变我的决策?改变到什么程度算有意义?"这一步的产出是一个明确的决策阈值:如果变量在 A 以上我做 X,在 B 以下我做 Y。

没有决策阈值就没有衡量目标。如果不管结果是多少你都会做同样的事,那就不需要测。

计算信息价值。 用 EVPI(完美信息期望价值)判断哪些变量值得测。步骤:估计当前决策的期望结果,估计"如果完全知道这个变量"后的期望结果,差值就是信息价值的上限。

EVPI 最高的变量优先测。EVPI 接近零的变量直接跳过,不管它看起来多重要。这一步经常推翻直觉——管理层认为最重要的变量,信息价值不一定最高。

分解和校准。 把 EVPI 高的变量分解成可观察的子变量。对每个子变量,找 1-3 个有经验的估计者,做校准训练后给出 90% 置信区间。如果多个估计者的区间差异很大,讨论分歧原因,然后各自独立更新。

判断分歧本身是信息:如果两个专家对同一件事的范围差了五倍,说明不确定性比你以为的大,这恰恰是最值得收集数据的地方。

设计观察方案。 不需要完美的实验设计。针对信息价值最高的子变量,设计最简单的数据收集方案。五法则是底线——5 个随机观察。如果 EVPI 支持更大投入,可以扩展样本量或用更精密的方法。

关键判断:收集数据的成本不应超过信息价值。如果一个变量的 EVPI 是 50 万,花 100 万去测就是亏的。

用贝叶斯方法更新。 把新数据和校准估计合并。不需要扔掉原来的判断重新来过——贝叶斯更新的核心就是让新信息修正旧估计,而不是替代它。

如果新数据和原估计方向一致,置信区间收窄,确定性增加。如果新数据和原估计矛盾,区间可能暂时变宽——这是好事,说明你发现了一个之前没看到的不确定性来源。

做决策或进入下一轮。 检查更新后的估计是否已经足以区分决策选项。如果在阈值以上或以下的概率已经超过你的决策标准(比如 80%),做决策。如果仍然模糊,回到信息价值计算,看是否值得再收集一轮数据。

完成标准:你输出了一个带概率的决策建议,决策者理解了"这个估计的确定程度是多少",并基于这个确定程度做出了明确的决定或明确的推迟。

卡住时怎么办

估计者说"我完全不知道"。 换一个问题的切入方式。不问"客户信任度是多少",问"你见过的最不信任我们的客户是什么样?最信任的呢?"用极端锚点帮估计者建立范围。如果仍然卡住,把问题再分解一层。

校准练习命中率太低。 区间太窄是最常见的原因。主动把区间宽度扩大 50%-100%,再做一轮练习。宁可区间太宽也不要太窄——太宽只是精度不够,太窄是在错误的自信上做决策。

EVPI 计算结果让人意外。 如果一个你认为很重要的变量 EVPI 接近零,不要强行测它。这通常意味着无论它的真实值是多少,你的最优决策都不会变。把资源转向 EVPI 高的变量。

收集到的数据和所有人的估计都矛盾。 先检查数据质量——观察方法有没有系统性偏差?如果数据可信,这恰恰说明先验估计有问题。不要丢掉数据去保护直觉。用贝叶斯更新让数据和先验对话,看更新后的结果是否合理。

做完之后手上有什么

一次完整流程的产出:

  • 对目标变量的校准估计和置信区间
  • 信息价值分析结果(哪些变量值得测、哪些不值得)
  • 基于估计的决策建议和确定性水平
  • 下一步数据收集的优先级(如果需要)

不是一个精确数字,而是一个"我们知道什么、不知道什么、还需要知道什么"的完整地图。

判断"真的做完了"还是"看起来做完了"的标准:你能用两句话向决策者解释"我们的结论是什么"和"这个结论的确定程度是多少"。如果说不清楚,回到流程中确定性最低的那一步。

执行清单

  1. 列出决策涉及的关键变量,标记哪些被认为"不可衡量"
  2. 对每个"不可衡量"的变量写出决策阈值
  3. 做校准练习直到命中率 ≥ 80%
  4. 计算每个变量的 EVPI,按信息价值排序
  5. 对 EVPI 最高的 1-2 个变量做 5 个随机观察
  6. 用贝叶斯方法合并校准估计和新数据
  7. 检查更新后的估计是否足以区分决策选项
  8. 做决策,或明确下一轮数据收集的目标和预算

同分类继续看